Foveation-Guided Dynamic Token Selection for Robust and Efficient Vision Transformers
注视引导的动态令牌选择让视觉 Transformer 更鲁棒高效
🧭 高效视觉Transformer · 动态令牌选择
Advanced Research Lab, NavInfo Europe · Eindhoven University of Technology
模拟人眼中央凹视觉，动态选择重要 token 并融合多尺度信息，在 50% 预算下超越 DeiT-S 且计算量降低 34.57%
📌 工作参考价值（4 点）
- 论文属于计算机视觉领域，与推荐系统、对话 Agent 等无直接关联，业务可借鉴的模块和方法有限。
- 动态 token 选择的思想可类比于用户行为序列处理：在计算资源受限时，通过简单前馈模块（类似 fixation）丢弃不重要的行为 token，保留关键交互，可提升效率且潜在增强鲁棒性。
- 多尺度“中央凹”嵌入生成方式（foveation）可启发商品图像编码：对商品图的不同区域按显著性分配注意力分辨率，在图像搜索或推荐缩略图生成中平衡精度与算力。
- 无额外对抗训练即获得鲁棒性的特性，提示在推荐模型部署时可通过结构设计（而非仅依赖数据增强）改善对噪声特征或异常行为的容忍度。